Thân phụ ông là cụ Phan Đăng Dư (1874-1955), còn có tên là Phan Đăng Kính, lúc sinh thời bà con làng Tràng Thành thường gọi là Cụ Phán, bởi cụ có bốn người con trai, trong đó có ba người làm Thông phán là Phan Đăng Lưu (Phán Tằm), Phan Đăng Triều (Phán Triều), Phan Đăng Tài (Phán Tài). Cả ba người về sau đều hoạt động cách mạng chống chính quyền thực dân Pháp.[4][28]

Cụ Phan Đăng Dư thời trẻ từng dự thi Hương Trường Nghệ nhưng không đỗ đạt, về nhà làm nghề bốc thuốc nam, làm thầy địa lý để giúp đỡ dân làng và giao du với bạn bè. Năm 1908, cụ cùng Cử nhân Chu Trạc tập hợp những người nghĩa khí vào “Nghĩa đảng” để mưu đồ sự nghiệp chống Pháp, nhưng về sau bị chính quyền thực dân bắt bớ và bị đánh hỏng bàn tay cầm bút.[28]

Ngôi nhà 2 tầng hiện nay đang làm nhà lưu niệm Phan Đăng Lưu, trước đây là nhà thờ của gia đình, được cụ Dư cho xây dựng từ năm 1929. Bà Phan Thị Lê kể: khi xây dựng, hồi đó không có xi măng, cụ Dư mua 1 'chum' mật mía để gắn kết với vôi, cát tạo vữa xây; phía trước bên phải của ngôi nhà 2 tầng (phần đất gần lối vào hiện nay) là ngôi nhà lợp tranh toóc 3 gian, là nơi ở của vợ chồng cụ Dư; phía bên trái là ngôi nhà 3 gian lợp ngói, vách đất- xi tooc, cụ Dư làm cho vợ chồng Phan Đăng Lưu cùng các con sinh sống, ở giữa là cái sân rộng. Ngôi nhà 2 tầng này có thể nói thuộc loại đẹp & rất hiếm có ở một làng quê Việt Nam thời bấy giờ.

Khoảng cuối năm 1941, bà Lê kể tiếp: ngay sau khi cha mình là Phan Đăng Lưu bị thực dân Pháp tử hình, quan huyện ở quê nhà cho lính đến gia đình của Phan Đăng Lưu đọc quyết định tịch thu tài sản của Phan Đăng Lưu. Tài sản gia đình như ruộng vườn, nhà cửa, trâu bò.. được chia ra thành các phần: cho vợ, cho các con & cho Phan Đăng Lưu, chúng hóa giá phần tài sản của Phan Đăng Lưu và yêu cầu bà Danh (vợ Phan Đăng Lưu) phải nộp tiền để thế tài sản này, bà Danh đã khóc, chạy đôn chạy đáo đi vay để nộp đủ cho chúng. Cũng theo lời kể của bà Lê, trước đây cũng như sau khi Phan Đăng Lưu bị bắn, để gia đình mình được yên ổn cuộc sống, bà Danh cứ ngày rằm hàng tháng phải mang lễ xôi- gà.. đến nhà quan huyện cống nộp.

Đầu năm 1955, trong Cải cách ruộng đất, gia đình cụ Phan Đăng Dư bị quy địa chủ, tất cả nhà cửa, tài sản... bị tịch thu. Cụ bị kết án 20 năm tù và bị giải đi nhà lao Bến Hới (Tân Kỳ), sau đó qua đời trên đường đi. Một năm sau, cụ mới được giải oan.[28]

Khi còn ở làng, Phan Đăng Lưu lấy vợ đầu là bà Nguyễn Thị Danh (còn gọi là bà Chín), thuộc dòng họ Nguyễn Khắc, một dòng họ lớn ở Nghệ An, vì chồng đi hoat động cách mạng, nên việc đồng áng nặng nhọc của đàn ông bà phải cáng đáng hết, để thêm thu nhập nuôi con, bà còn chặt tre chẻ nan dán giấy làm hộp vàng mã & cùng con gái đi chợ bán, ngoài ra bà Lưu còn nuôi tằm, xe tơ kéo sợi dệt nhuộm vải. Bà Lưu có tiếng là người xông xáo, cách tân, bà ít khi mặc váy như đa số phụ nữ thời đó, bà mặc quần dài, vụ mùa thu hoạch lúa, bà mặc quần đùi, vai đeo dây kéo lu đá trục lúa trên sân, con đi phía sau đẩy giúp cho bà, có người đi qua thấy thế tưởng nhầm đã hỏi con gái "ông mô trục lúa cho nhà bay đó?'; Một điểm rất đặc biệt, ông bà Lưu đã rất chú trọng cho con "cái chữ", vì cha đi làm cách mạng, con trai phải cho theo người chú ruột là Phan Đăng Tài, làm việc tại Hà Tĩnh để được đi học, còn con gái nông thôn thời đó thường không được học, thế nhưng ông bà Lưu đã cho con gái đến trường, nhưng do bị chọc ghẹo nên phải bỏ học ở trường, ông bà Lưu lại phải nhờ thầy đến dạy học cho con gái tại nhà... Ông bà Lưu có với nhau 2 người con: Phan Thị Lê (SN 1924) và Phan Đăng Tề (thường gọi Phan Xuân Tâm) (SN 1925).[29] Bà Danh về sau tham gia Việt Minh, thành viên Hội Phụ nữ Cứu quốc và trở thành Ủy viên Chấp Ủy Việt Minh làng Tràng Thành từ tháng 12 năm 1945, sau đó tiếp tục là Hội trưởng phụ nữ Tràng Thành nhiều năm.

Thời gian hoạt động ở Huế, ông kết hôn với bà Lê Thị Nhồng, giao thông viên của Xứ ủy Trung kỳ và đã có chung một người con trai là Phan Đăng Luyến. Sau khi ông bị xử tử, bà Nhồng đưa con về quê Tràng Thành ở với ông bà. Về sau bà Nhồng tái giá với ông Bính, một cựu tù chính trị quê ở huyện Nghi Lộc.[28]

Các con, cháu, chắt... của cụ Phan Đăng Lưu, đều là những người tự lập, sống lương thiện, tốt nghiệp tiến sỹ, thạc sĩ, kỹ sư, cử nhân tại các trường danh tiếng trong nước, nước ngoài & cần mẫn, sáng tạo làm việc đặng giúp ích cho gia đình, đất nước.